Kalashnikov bắt đầu thiết kế súng trường khi nằm điều trị ở bệnh viện sau khi bị thương trong trận đánh tại Bryansk. Sau đó, ông tham gia một cuộc thi chế tạo vũ khí dùng loại đạn cỡ 7,62x41 mm, không bị kẹt đạn, chịu được hoàn cảnh khắc nghiệt của cuộc chiến. Ông đã đoạt giải nhất và trở thành tổng công trình sư thiết kế vũ khí của Liên Xô.

Năm 1947, ông thiết kế AK-47 (Viết tắt của Автомат Калашникова образца 1947 года - Súng tiểu liên kiểu Kalashnikov model 1947), đây là thành công lớn nhất của ông. Vào năm 1949, AK-47 trở thành tiểu liên tấn công cơ bản của Hồng Quân Liên Xô; sau đó, nó trở thành phát minh nổi tiếng nhất của Kalashnikov.